Block-wise Minimization-Majorization algorithm for Huber's criterion: sparse learning and applications

Huber's criterion can be used for robust joint estimation of regression and scale parameters in the linear model. Huber's (Huber, 1981) motivation for introducing the criterion stemmed from non-convexity of the joint maximum likelihood objective function as well as non-robustness (unbounded influence function) of the associated ML-estimate of scale. In this paper, we illustrate how the original algorithm proposed by Huber can be set within the block-wise minimization majorization framework. In addition, we propose novel data-adaptive step sizes for both the location and scale, which are further improving the convergence. We then illustrate how Huber's criterion can be used for sparse learning of underdetermined linear model using the iterative hard thresholding approach. We illustrate the usefulness of the algorithms in an image denoising application and simulation studies.Comment: To appear in International Workshop on Machine Learning for Signal Processing (MLSP), 202

Robust Low-rank Change Detection for SAR Image Time Series

International audienceThis paper considers the problem of detecting changes in mul-tivariate Synthetic Aperture Radar image time series. Classical methodologies based on covariance matrix analysis are usually built upon the Gaussian assumption, as well as an unstructured signal model. Both of these hypotheses may be inaccurate for high-dimension/resolution images, where the noise can be heterogeneous (non-Gaussian) and where all channels are not always informative (low-rank structure). In this paper, we tackle these two issues by proposing a new detector assuming a robust low-rank model. Analysis of the proposed method on a UAVSAR dataset shows promising results

Contributions à l'analyse de séries temporelles d'images SAR

Remote sensing data from Synthetic Aperture Radar (SAR) sensors offer a unique opportunity to record, to analyze, and to predict the evolution of the Earth. In the last decade, numerous satellite remote sensing missions have been launched (Sentinel-1, UAVSAR, TerraSAR X, etc.). This resulted in a dramatic improvement in the Earth image acquisition capability and accessibility. The growing number of observation systems allows now to build high temporal/spatial-resolution Earth surface images data-sets. This new scenario significantly raises the interest in time-series processing to monitor changes occurring over large areas. However, developing new algorithms to process such a huge volume of data represents a current challenge. In this context, the present thesis aims at developing methodologies for change detection in high-resolution SAR image time series.These series raise two notable challenges that have to be overcome:On the one hand, standard statistical methods rely on multivariate data to infer a result which is often superior to a monovariate approach. Such multivariate data is however not always available when it concerns SAR images. To tackle this issue, new methodologies based on wavelet decomposition theory have been developed to fetch information based on the physical behavior of the scatterers present in the scene.On the other hand, the improvement in resolution obtained from the latest generation of sensors comes with an increased heterogeneity of the data obtained. For this setup, the standard Gaussian assumption used to develop classic change detection methodologies is no longer valid. As a consequence, new robust methodologies have been developed considering the family of elliptical distributions which have been shown to better fit the observed data.The association of both aspects has shown promising results in change detection applications.La télédétection par Radar à Synthèse d’Ouverture (RSO) offre une opportunité unique d’enregistrer, d’analyser et de prédire l’évolution de la surface de la Terre. La dernière décennie a permis l’avènement de nombreuses missions spatiales équipées de capteurs RSO (Sentinel-1, UAVSAR, TerraSAR X, etc.), ce qui a engendré une rapide amélioration des capacités d’acquisition d’images de la surface de la Terre. Le nombre croissant d’observations permet maintenant de construire des bases de données caractérisant l’évolution temporelle d’images, augmentant considérablement l’intérêt de l’analyse de séries temporelles pour caractériser des changements qui ont lieu à une échelle globale. Cependant, le développement de nouveaux algorithmes pour traiter ces données très volumineuses est un défi qui reste à relever. Dans ce contexte, l’objectif de cette thèse consiste ainsi à proposer et à développer des méthodologies relatives à la détection de changements dans les séries d’images ROS à très haute résolution spatiale.Le traitement de ces séries pose deux problèmes notables. En premier lieu, les méthodes d’analyse statistique performantes se basent souvent sur des données multivariées caractérisant, dans le cas des images RSO, une diversité polarimétrique, interférométrique, par exemple. Lorsque cette diversité n’est pas disponible et que les images RSO sont monocanal, de nouvelles méthodologies basées sur la décomposition en ondelettes ont été développées. Celles-ci permettent d’ajouter une diversité supplémentaire spectrale et angulaire représentant le comportement physique de rétrodiffusion des diffuseurs présents la scène de l’image. Dans un second temps, l’amélioration de la résolution spatiale sur les dernières générations de capteurs engendre une augmentation de l’hétérogénéité des données obtenues. Dans ce cas, l’hypothèse gaussienne, traditionnellement considérée pour développer les méthodologies standards de détection de changements, n’est plus valide. En conséquence, des méthodologies d’estimation robuste basée sur la famille des distributions elliptiques, mieux adaptée aux données, ont été développées.L’association de ces deux aspects a montré des résultats prometteurs pour la détection de changements.Le traitement de ces séries pose deux problèmes notables. En premier lieu, les méthodes d’analyse statistique performantes se basent souvent sur des données multivariées caractérisant, dans le cas des images RSO, une diversité polarimétrique ou interférométrique, par exemple. Lorsque cette diversité n’est pas disponible et que les images RSO sont monocanal, de nouvelles méthodologies basées sur la décomposition en ondelettes ont été développées. Celles-ci permettent d’ajouter une diversité spectrale et angulaire supplémentaire représentant le comportement physique de rétrodiffusion des diffuseurs présents la scène de l’image. Dans un second temps, l’amélioration de la résolution spatiale sur les dernières générations de capteurs engendre une augmentation de l’hétérogénéité des données obtenues. Dans ce cas, l’hypothèse gaussienne, traditionnellement considérée pour développer les méthodologies standards de détection de changements, n’est plus valide. En conséquence, des méthodologies d’estimation robuste basée sur la famille des distributions elliptiques, mieux adaptée aux données, ont été développées.L’association de ces deux aspects a montré des résultats prometteurs pour la détection de changements

A Comparative Study of Statistical-Based Change Detection Methods for Multidimensional and Multitemporal SAR Images

International audienceThis paper addresses the problem of activity monitoring through change detection in a time series of multidimensional Synthetic Aperture Radar (SAR) images. Thanks to SAR sensors’ all-weather and all-illumination acquisitions capabilities, this technology has become widely popular in recent decades when it concerns the monitoring of large areas. As a consequence, a plethora of methodologies to process the increasing amount of data has emerged. In order to present a clear picture of available techniques from a practical standpoint, the current paper aims at presenting an overview of statistical-based methodologies which are adapted to the processing of noisy and multidimensional data obtained from the latest generation of sensors. To tackle the various big data challenges, namely the problems of missing data, outliers/corrupted data, hetergenenous data, robust alternatives are studied in the statistics and signal processing community. In peculiar, we investigate the use of advanced robust approaches considering non-Gaussian modeling which appear to be better suited to handle high-resolution heterogeneous images. To illustrate the attractiveness of the different methodologies presented, a comparative study on real high-resolution data has been realized. From this study, it appears that robust methodologies enjoy better detection performance through a complexity trade-off with regards to other non-robust alternatives

Block-wise minimization-majorization algorithm for huber's criterion: Sparse learning and applications

Huber's criterion can be used for robust joint estimation of regression and scale parameters in the linear model. Huber's [1] motivation for introducing the criterion stemmed from nonconvexity of the joint maximum likelihood objective function as well as non-robustness (unbounded influence function) of the associated ML-estimate of scale. In this paper, we illustrate how the original algorithm proposed by Huber can be set within the block-wise minimization majorization framework. In addition, we propose novel data-adaptive step sizes for both the location and scale, which are further improving the convergence. We then illustrate how Huber's criterion can be used for sparse learning of underdetermined linear model using the iterative hard thresholding approach. We illustrate the usefulness of the algorithms in an image denoising application and simulation studies.Peer reviewe

Détection de changements basée sur les covariances de séries d’images SAR

International audienc

Nouvel algorithme d'inversion robuste pour le RADAR GPR

International audienceDans ce papier, nous proposons une nouvelle méthode d'inversion dans le but d'améliorer la détection d'objets enfouis. Pour cette détection, on utilise un RADAR GPR (Ground Penetrating Radar) qui émet une onde qui va traverser le sous sol et se réfléchir sur d'éventuels objets enterrés. A cause du mouvement du RADAR la réponse de ces objets a une forme d'hyperbole. L'approche proposée dans ce papier est basée sur un modèle convolutif avec dictionnaire et une matrice rang faible. Le problème d'optimisation utilise une norme d'Huber à la place de la norme classique pour avoir une meilleure robustesse au bruit qui est très présent dans une image GPR. Nous testons notre approche sur un jeu de données réelles fourni par la société Géolithe et montrons l'apport de la norme de Huber par rapport à la norme classique

Classification of GPR Signals via Covariance Pooling on CNN Features within a Riemannian Framework

International audienceWe consider the problem of classifying Ground Penetrating Radar (GPR) signals by using covariance matrices descriptors computed on convolutional features obtained from Mo-bileNetV2 Convolutional Neural Network (CNN) first layers. This approach allows to leverage the rich data representation obtained from CNNs and the low-dimensionality of secondorder statistics. Then the Riemannian geometry of covariance matrices is leveraged to improve classification rate. The proposed approach allows then to perform automatic classification of buried objects with few labeled data available. We also consider the scenario of an airbone radar and provide results at different elevations